We współczesnych badaniach reprezentacyjnych coraz częściej dają o sobie znać błędy o charakterze nielosowym, w tym w szczególności wynikające z braków odpowiedzi lub źle wykonanych pomiarów (niedokładnej obserwacji statystycznej). Do tej pory rzadko dyskutowano o skutkach tego typu błędów w procedurze weryfikacji hipotez statystycznych. Uwaga badaczy skupiała się niemal wyłącznie na błędzie losowania (błędzie losowym). Błąd ten maleje wraz ze wzrostem liczebności próby. To sprawia, że badacze, nierzadko mający do dyspozycji bardzo duże liczebnie próby, tracą z pola widzenia konsekwencje nie tylko błędu losowego, lecz także błędów nielosowych.
Celem artykułu jest wskazanie na znaczenie błędów nielosowych w podejmowaniu decyzji opartych na wykorzystaniu klasycznej procedury weryfikacji hipotez. Szczególną uwagę poświęcono sytuacjom, w których badacz dysponuje dużą liczebnie próbą. W pracy uzasadniono twierdzenie, że w dużych próbach testy statystyczne stają się bardziej wrażliwe na oddziaływanie błędów nielosowych. Błędy systematyczne, będące szczególnym przypadkiem błędów nielosowych, zwiększają prawdopodobieństwo błędnej decyzji o odrzuceniu prawdziwej hipotezy wraz ze wzrostem liczebności próby. Wzbogacenie weryfikacji hipotez o analizę opartą na estymacji przedziałowej może wspomóc badacza w poprawnym wnioskowaniu.
testowanie hipotez statystycznych, błąd losowania, błąd losowy, błędy nielosowe
C12, C13, C18, D80
Amrhein, V., Greenland, S., McShane, B. (2019). Retire statistical significance. Nature, (567), 305–307. https://media.nature.com/original/magazine-assets/d41586-019-00857-9/d41586-019-00857-9.pdf .
Amrhein, V., Trafimow, D., Greenland, S. (2019). Inferential Statistics as Descriptive Statistics: There Is No Replication Crisis if We Don’t Expect Replication. The American Statistician, 73(sup1), 262–270. https://doi.org/10.1080/00031305.2018.1543137 .
Bakan, D. (1966). The test of significance in psychological research. Psychological Bulletin, 66(6), 423–437. https://doi.org/10.1037/h0020412 .
Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45(12), 1304–1312. https://doi.org/10.1037/0003-066X.45.12.1304 .
Dorofeev, S., Grant, P. (2006). Statistics for Real-Life Sample Surveys. Non-Simple-Random Samples and Weighted Data. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511543265 .
Gelman, A., Stern, H. (2006). The Difference Between “Significant” and “Not Significant” is not Itself Statistically Significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152649 .
Gigerenzer, G., Marewski, J. N. (2015). Surrogate Science: The Idol of a Universal Method for Scientific Inference. Journal of Management, 41(2), 421–440. https://doi.org/10.1177/0149206314547522 .
Gigerenzer, G., Swijtink, Z., Porter, T., Daston, L., Beatty, J., Krüger, L. (1989). The Empire of Chance: How probability changed science and everyday life. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511720482 .
Hirschauer, N., Grüner, S., Mußhoff, O., Becker, C., Jantsch, A. (2020). Can p-values be meaningfully interpreted without random sampling?. Statistics Surveys, 14, 71–91. https://doi.org/10.1214/20-SS129 .
Leamer, E. E. (1978). Specification Searches: Ad Hoc Inference with Nonexperimental Data. New York: John Wiley & Sons. https://www.anderson.ucla.edu/faculty_pages/edward.leamer/books/specification_searches.htm .
Lempert, R. O. (2009). The Significance of Statistical Significance: Two Authors Restate An Incontrovertible Caution. Why a Book?. Law & Social Inquiry, 34(1), 225–249. https://doi.org/10.1111/j.1747-4469.2009.01144.x .
Lin, M., Lucas, H. C., Jr., Shmueli, G. (2013). Too Big to Fail–Large Samples and the p-Value Problem. Information Systems Research, 24(4), 906–917. https://doi.org/10.1287/isre.2013.0480 .
Mercer, A. W., Kreuter, F., Keeter, S., Stuart, E. A. (2017). Theory and practice in nonprobability surveys. Parallels between causal inference and survey inference. Public Opinion Quarterly, 81(S1), 250–279. https://doi.org/10.1093/poq/nfw060 .
Nunnally, J. (1960). The place of statistics in psychology. Educational and Psychological Measurement, 20(4), 641–650. https://doi.org/10.1177/001316446002000401 .
Paradysz, J. (1989). O błędach nielosowych w badaniu dzietności kobiet w ramach Narodowego Spisu Powszechnego 1970. W: Główny Urząd Statystyczny, Problemy badań statystycznych metodą reprezentacyjną (s. 154–159). Warszawa.
Paradysz, J. (2009). Błędy pokrycia w Narodowych Spisach Powszechnych. Statystyka w praktyce społeczno-gospodarczej. Prace Naukowe / Akademia Ekonomiczna w Katowicach, 65–76.
Szreder, M. (2015). Zmiany w strukturze całkowitego błędu badania próbkowego. Wiadomości Statystyczne, 60(1), 4–12.
Szreder, M. (2019). Istotność statystyczna w czasach big data. Wiadomości Statystyczne. The Polish Statistician, 64(11), 42–57. https://ws.stat.gov.pl/Article/2019/11/042-057 .
Vogt, W. P., Vogt, E. R., Gardner, D. C., Haeffele, L. M. (2014). Selecting the Right Analyses for Your Data: Quantitative, Qualitative, and Mixed Methods. New York: The Guilford Press.
Wasserstein, R. L., Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108 .
Ziliak, S. T., McCloskey, D. N. (2008). The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives. Ann Arbor: University of Michigan. https://doi.org/10.3998/mpub.186351 .
